.pdf
檔案前陣子,小弟分享過如何使用 Langchain
+Streamlit
建立一個 document GPT應用程式,可參考過去介紹。
大家都知道,調用 OpenAI
是需要 API key 的,尤其當我們利用 Langchain
實作一個 document GPT,所需的 API 用量非常可觀,光是這點就讓很多人卻步,也讓絕大部分使用者沒辦法體驗應用程式。
在 Github 上有一個叫做 gpt4free
的開源專案,可以在不需要 OpenAI
API key 的情況下,免費調用(偷) OpenAI
GPT 模型。
這讓我們得以實現一個完全免費的 document GPT,我們只需要把 Langchain
調用的 LLM 改寫成 gpt4free
即可。此外,為了與 PDF 對話,有一個步驟需要將文本進行 embedding
,我們可以用 HuggingFaceEmbeddings
代替 OpenAIEmbeddings
(無須付費)。
使用 OpenAI API(付費) 與 gpt4free
(免費) 的結果如下:
關於 gpt4free
:
gpt4free
,它有多個不同的 Provider,每個 Provider 的狀態都會變化,有時你會無法正常使用,請記得更換!gpt4free
是透過逆向工程方式,借用不同 Provider 的 API,這種行為不確定是否合法,且開發者有提到免責聲明,建議不要拿此技術套用在商業產品上,避免惹禍上身。